Journal Watch

Appearance

Dyadic clustering in international relations ​

Carlson, Incerti, Aronow (2023)

DisciplineSocial science
MethodMeta analysis
Tagsclustered standard errorsdata · secondary survey analysisdyadic datainternational relationsmethod · descriptive statisticsmethod · regressionreplication

Summary ​

Problem: 国际关系领域的定量实证研究广泛使用二元数据（dyadic data），但标准分析技术未考虑二元对之间的非独立性——即共享同一成员（如同一国家）的二元对在统计上可能相关（“聚类”）。这种忽略可能导致标准误被低估、置信区间过窄，从而夸大研究发现的可靠性。尽管已有方法学进展（如DCRSEs），但应用型学者尚未广泛采用。 Approach: 作者使用近期发展的二元聚类稳健标准误（DCRSEs），对2014年1月至2020年1月间发表在《International Organization》上所有使用二元数据的实证文章进行再分析。他们识别出22篇符合条件的研究，共691个关键解释变量（KEVs）和174个模型，将原始标准误与DCRSEs进行比较，并考察统计显著性的变化。 Finding: 研究发现，DCRSEs平均约为已发表标准误的1.74倍，表明研究者严重低估了不确定性。然而，大多数（67%）原本统计显著的结果在使用DCRSEs后仍然显著。不同子领域均受影响，其中“国际组织与国际法”子领域的标准误膨胀最严重（平均SER为2.19），34%的估计失去显著性。 Significance: 该研究对国际关系领域具有重要警示意义：忽略二元聚类会系统性低估不确定性，但多数核心结论仍然稳健。同时，作者提供的软件工具使DCRSEs的应用变得可行，有助于推动该领域方法实践的改进。

Theoretical Framework ​

  • Theoretical tradition: 属于计量经济学与政治学方法论的交叉领域，聚焦于统计推断中的聚类结构问题。
  • Prior theories built upon: 民主贸易假说（Bliss and Russett 1998; Dixon and Moon 1993; Green, Kim, and Yoon 2001; Mansfield, Milner, and Rosendorff 2000）、民主和平理论（Dafoe 2011; Gartzke 2007; Imai and Lo 2021; Oneal and Russett 2001）、自由和平理论（Oneal and Russett 2001）、民主联盟形成理论（Gibler and Wolford 2006; Simon and Gartzke 1996）。方法学上基于Cameron和Miller (2014)、Aronow等 (2015)、Tabord-Meehan (2019) 的DCRSEs发展。
  • Causal mechanism: 二元数据中，当两个二元对共享一个成员时（如美国同时出现在美英和美法二元对中），模型误差项之间存在相关性。这种相关性源于国家层面的共同冲击（如国内政治变革、经济波动）会同时影响该国的所有二元关系。忽略这种相关性会导致方差估计中遗漏协方差项，从而低估标准误。
  • Key assumptions: (1) 二元对之间的依赖性主要源于共享成员（即“事件二元对”）；(2) 不共享任何成员的二元对之间是独立的；(3) 误差项的条件期望为零（外生性条件）；(4) 聚类数量足够大以保证估计量的一致性。
  • Theoretical move: 本文是对现有方法学理论的应用与推广——将已发展的DCRSEs方法系统性地应用于实际研究文献，评估其影响程度，并扩展了该方法在应用层面的可及性（通过提供软件工具）。
  • Scope conditions: DCRSEs仅适用于二元对间依赖性源于共享成员的情形。当存在非事件二元对之间的系统性依赖（如联盟形成、多边贸易协定）时，DCRSEs仍会低估不确定性。因此，研究结论的适用范围限于“二元聚类”这一特定依赖结构。

Research Design ​

本研究为再分析研究（reanalysis study），属于元科学（meta-science）范畴。分析单元为关键解释变量（KEV）的估计结果。具体设计如下：

  • 通过Google Scholar检索2014年1月至2020年1月间《International Organization》上所有提及“dyad”或“dyadic”的文章，共获得70篇候选研究。
  • 排除三类研究：(1) 未实际分析二元数据；(2) 二元观测主要涉及嵌套关系（如叛乱团体-国家二元对），单维或多维聚类即可；(3) 所有观测共享同一二元成员（如仅美国双边贸易流）。
  • 最终纳入22项研究，共691个KEVs、174个模型。
  • 关键自变量：各研究中的关键解释变量（KEV），定义为研究中直接引用或明确涉及研究假设的自变量。
  • 关键因变量：标准误比率（SER），即DCRSE除以原始标准误；以及统计显著性变化（5%水平）。
  • 所有模型使用原始统计软件进行复制和再估计，采用Aronow等 (2015) 的DCR方差估计器。

Data & Sample ​

  • 样本量: 22项研究，691个KEVs，174个模型。
  • 总体: 2014年1月至2020年1月间发表在《International Organization》上的所有实证文章。
  • 国家/地区: 国际范围，涵盖全球国家二元对及国际组织二元对（20项研究为国家二元对，2项为国际组织二元对）。
  • 数据收集方法: Google Scholar系统检索，辅以作者提供的复制数据。
  • 时间跨度: 2014年1月至2020年1月（约6年）。
  • 数据来源: 各研究的公开复制数据或作者提供的数据。

Analytical Strategy ​

  • 核心分析: 计算每个KEV的标准误比率（SER = DCRSE / 原始标准误），并比较再分析前后的p值变化。
  • 加权方案: 采用逆研究频率加权（ISFW），即按每项研究在分析样本中的KEV数量取倒数加权，避免少数研究（如Bermeo 2017和Goemans & Schultz 2017分别贡献173和170个KEVs）主导结果。
  • 聚类假设: 二元对被假定为无向的（undirected），因为基于有向二元对的聚类需要更强的独立性假设。
  • 小样本校正: 主要分析中未使用小样本校正，以避免对原始文献“过度悲观”的估计；但在补充分析（Supplementary Table A.5）中使用了基于Bergé (2021) 和Cameron等 (2011) 的小样本校正，结果无实质性差异。
  • 稳健性检查: 对使用固定效应的模型（3项研究）和未使用任何聚类标准误的模型（24个模型）进行了补充分析。

Results & Findings ​

主要发现1：标准误被系统性低估

  • 所有KEVs的ISFW平均SER为1.74，即DCRSEs平均约为原始标准误的1.74倍。这意味着研究者平均低估了约43%的标准误（1 - 1/1.74 ≈ 0.43）。
  • 按年份看，SER从2014年的1.94到2020年的1.05不等，2016年最高（2.26）。
  • 按子领域看，所有子领域的平均SER均超过1.5：“国际组织与国际法”最高（2.19），其次为“国际政治经济”（1.79）和“安全研究”（1.51）。
  • 这一发现证实了理论预期：忽略二元聚类会导致方差估计中遗漏协方差项，从而低估不确定性。

主要发现2：多数显著结果仍然稳健

  • 67%的KEVs在应用DCRSEs后仍保持5%水平的统计显著性（即“Sig.→Sig.”比例为0.46，加上原本不显著但变为显著的0.05，总计0.51；但原文明确说明67%的显著结果保持显著）。
  • 22%的KEVs从显著变为不显著（“Sig.→Insig.”比例为0.22）。
  • 5%的KEVs从不显著变为显著（“Insig.→Sig.”比例为0.05），这反映了标准误估计的抽样变异性。
  • 这一发现表明，尽管不确定性被低估，但多数核心结论在更保守的推断下仍然成立。

主要发现3：子领域间存在差异

  • “国际组织与国际法”子领域受影响最严重：34%的估计失去显著性。
  • 安全研究子领域相对稳健：19%的估计失去显著性。
  • 所有子领域均有19%或以上的估计失去显著性，说明问题具有普遍性。

主要发现4：研究间差异显著

  • 单项研究的平均SER范围从0.90到4.16不等。
  • 22项研究中，18项研究的KEVs在考虑二元聚类后精度下降。
  • 仅7项研究没有任何KEV因DCRSEs而失去显著性。
  • 3项研究有50%或以上的KEVs在再分析后变为不显著。

零结果与意外发现: 5%的KEVs从不显著变为显著，这一比例虽小但非零，说明标准误估计本身存在抽样变异性，DCRSEs并非总是增大标准误。

Limitations ​

作者明确承认以下局限：

  1. DCRSEs并非万能: 当存在非事件二元对之间的依赖性（如联盟形成、多边贸易协定）时，DCRSEs仍会低估不确定性。因此，本文的再分析结果是对问题严重性的“下限估计”。
  2. 小样本问题: DCRSEs比传统聚类标准误具有更大的抽样变异性，在小样本中可能不可靠。虽然存在简单校正方法，但针对多向聚类（包括二元聚类）的小样本理论仍在发展中。
  3. 二元对方向性假设: 分析中假定二元对为无向的，若实际数据为有向二元对，可能需要更强的独立性假设。
  4. 样本范围有限: 仅涵盖《International Organization》一个期刊，可能无法完全代表整个国际关系领域。
  5. 未进行小样本校正: 主要分析中未使用小样本校正，虽然补充分析显示无实质性差异，但校正后的标准误可能更大。

Key Contributions ​

  • 首次系统性地量化了国际关系文献中忽略二元聚类对标准误和统计显著性的实际影响，提供了经验证据表明问题严重（平均标准误低估约43%）。
  • 发现尽管标准误被严重低估，但大多数（67%）显著结果在应用DCRSEs后仍然稳健，为文献的可信度提供了部分安慰。
  • 识别了受影响最严重的子领域（国际组织与国际法）和研究间差异，为后续方法改进提供了方向。
  • 提供了R和Stata软件工具，使DCRSEs的计算对应用学者变得可行，降低了方法采用的门槛。
  • 强调了方法选择应基于数据生成过程和理论理解，而非机械应用，提醒研究者DCRSEs的适用范围和局限。

Key Claims ​

"We find that published standard errors for key explanatory variables are, on average, approximately half as large as DCRSEs, suggesting that dyadic clustering is leading researchers to severely underestimate uncertainty." (Abstract)

"However, most (67% of) statistically significant findings remain statistically significant when using DCRSEs." (Abstract)

"We conclude that accounting for dyadic clustering is both important and feasible, and offer software in R and Stata to facilitate use of DCRSEs in future research." (Abstract)

"The reanalysis we present therefore offers a lower bound on the severity of the consequences of inadequate clustering practices in previous research, or, in other words, reveals the extent to which dyadic clustering alone is jeopardizing the reliability of research." (Section 1, Introduction)

"When there is dependence between non-incident dyads (i.e., dyads that do not share a common member), DCRSEs will still underestimate uncertainty, just as only clustering on repeated dyads underestimates uncertainty when there is dependence across incident dyads." (Section 1, Introduction)

My Notes ​